导读:像pR劫持一样,对一些比较难以预防的黑帽陷害手法,本来不太想积极讨论,因为有很多时候会对无辜的站长造成很大的伤害。在前两天的SEO案例中,提到了代理劫持(proxy hijack),有人问是
发表日期:2020-07-05
文章编辑:兴田科技
浏览次数:7818
标签:
像pR劫持一样,对一些比较难以预防的黑帽陷害手法,本来不太想积极讨论,因为有很多时候会对无辜的站长造成很大的伤害。
在前两天的SEO案例中,提到了代理劫持(proxy hijack),有人问是怎么回事,今天就解释一下。像这种东西都是双刃剑,不怀好意的人看了,又多了一个损人利己的工具。另一方面,已经深受其害的站长看了,也许对他们预防和恢复有正面意义。
代理劫持简单说就是搜索引擎收录了通过代理服务器浏览的网页,而把原本真正的网页惩罚或删除。
国内站长对代理服务器(proxy server)肯定都很熟悉。在使用代理服务器上其他网站时,浏览器显示的URL通常是类似于:
http://www.proxysite.com/proxy/www.proxysite.com
其中proxysite.com是代理服务器域名,proxysite.com是真正要访问的网站。
在浏览器打开这种URL当然没问题,但如果搜索引擎抓取了这种URL,就会对原来的网站形成完全复制内容网页。虽然复制内容网页在绝大部分情况下只是被忽略不计,但在某些情况下,搜索引擎判断错误,会把原始的版本当做是复制而被惩罚甚至被删除。
一般情况下,通过代理访问的URL不应该被收录。但如果有人恶意链接向这个代理URL,搜索引擎也会访问和抓取。
怎么预防或恢复被代理劫持的排名呢?
最简单的,如果看到自己的网页被代理劫持,查一下那个代理服务器的Ip地址,自己服务器上把那个Ip地址屏蔽掉,禁止抓取。
但有的时候,代理服务器的Ip地址会有变化,而且代理服务器又那么多,很可能屏蔽不过来。更复杂的方法是服务器端通过程序鉴别来访问的是否是搜索引擎蜘蛛,是否是真正的搜索引擎蜘蛛。
有些情况下,搜索引擎蜘蛛通过代理URL访问时的浏览器类型(User Agent),还是搜索引擎的蜘蛛。不过,有的代理服务器可能设置为隐藏原始Ip地址,隐藏User Agent,这就给判断是否是搜索引擎蜘蛛造成很大困难。
这时网站程序就需要主动验证来访的是否是真的搜索引擎蜘蛛。如果程序检验确实是真实的蜘蛛,就返回正常页面。如果检测不是蜘蛛是正常用户,或是假冒的蜘蛛,那么返回的网页都加入noindex,nofollow标签。这样这些原始网页通过代理访问时,都不能被搜索引擎所抓取。
Google2月份发表在黑板报及网站管理员博客的翻译Matt Cutts的怎样验证Google蜘蛛帖子(Matt Cutts的原贴没发在自己的博客,而是发在英文版网站管理员博客),不是发着玩的,而是有很深的意义。从目前零个引用链接和评论看,大部分人不知道这个帖子有什么用。
按说搜索引擎对这种代理劫持应该有办法判断,不然这就成了一些人可以陷害竞争对手的简易方法。不过,任何算法都有漏洞,就算算法能99%的正确判断,但是漏网的那一个错误就可能使无辜的网站被删除。
写这篇文章是希望介绍给跟多人,让大家能更好的预防。使用这种方法意图陷害他人,相信大家都会十分鄙视的。
很少写帖子时想,看懂的人越少越好。这是一篇。
上一篇:
网站优化不能等同于搜索引擎优化上一篇:
友情链接交换与PR值更新总结更多新闻
2020
SEO是一门没有正规教程的学科,而且方式策略会随着时间发展而发生变化,因为搜索引擎会经常更新算法,尤其是近期,基本一个月变一次,如果我们的网站受影响,很多人常常会先从自己网站
View details
2023
2023
信阳网站优化是指为了提高网站在搜索引擎结果页面(SERP)中的排名,从而增加网站流量、改善用户体验以及提升在线业务而进行的一系列优化技术和策略。
View details
2023
云南网站建设公司可以帮助您将品牌传播到更广泛的受众中。一个响应式的网站将使您能够在各种设备上展示您的品牌,包括移动设备和平板电脑,使您的品牌消息更容易被人们注意到。
View details